مدیریت Sessions در Requests: تسلط بر استفاده مجدد از اتصال HTTP برای عملکرد بهینه

در دنیای توسعه وب و یکپارچه سازی API، کارایی از اهمیت بالایی برخوردار است. هنگام کار با درخواست های HTTP متعدد، بهینه سازی مدیریت اتصال می تواند به طور قابل توجهی بر عملکرد تأثیر بگذارد. کتابخانه requests پایتون یک ویژگی قدرتمند به نام مدیریت session ارائه می دهد که استفاده مجدد از اتصال HTTP را امکان پذیر می کند و در نتیجه زمان پاسخگویی سریع تر و کاهش بار سرور را به همراه دارد. این مقاله به بررسی پیچیدگی های مدیریت session در Requests می پردازد و یک راهنمای جامع برای استفاده از مزایای آن برای برنامه های کاربردی جهانی ارائه می دهد.

استفاده مجدد از اتصال HTTP چیست؟

استفاده مجدد از اتصال HTTP، که به عنوان HTTP Keep-Alive نیز شناخته می شود، تکنیکی است که به چندین درخواست و پاسخ HTTP اجازه می دهد تا از طریق یک اتصال TCP واحد ارسال شوند. بدون استفاده مجدد از اتصال، هر درخواست نیاز به ایجاد یک اتصال TCP جدید دارد، فرآیندی که شامل یک handshake است و زمان و منابع ارزشمندی را مصرف می کند. با استفاده مجدد از اتصالات، از سربار ایجاد و از بین بردن مکرر اتصالات جلوگیری می کنیم که منجر به افزایش قابل توجه عملکرد می شود، به خصوص هنگام ایجاد درخواست های کوچک فراوان.

سناریویی را در نظر بگیرید که در آن نیاز به واکشی داده ها از یک نقطه پایانی API به دفعات دارید. بدون استفاده مجدد از اتصال، هر واکشی نیاز به یک اتصال جداگانه دارد. تصور کنید که نرخ ارز را از یک API مالی جهانی مانند Alpha Vantage یا Open Exchange Rates دریافت می کنید. ممکن است نیاز داشته باشید که نرخ ها را برای چندین جفت ارز به طور مکرر دریافت کنید. با استفاده مجدد از اتصال، کتابخانه requests می تواند اتصال را زنده نگه دارد و سربار را به میزان قابل توجهی کاهش دهد.

معرفی شی Session در Requests

کتابخانه requests یک شی Session ارائه می دهد که به طور خودکار مدیریت تجمیع و استفاده مجدد از اتصال را انجام می دهد. هنگامی که یک شی Session ایجاد می کنید، مجموعه ای از اتصالات HTTP را حفظ می کند و از آنها برای درخواست های بعدی به همان میزبان استفاده می کند. این فرآیند مدیریت اتصالات به صورت دستی را ساده می کند و اطمینان می دهد که درخواست ها به طور کارآمد رسیدگی می شوند.

در اینجا یک مثال اساسی از استفاده از یک شی Session آورده شده است:

import requests

# ایجاد یک شی session
session = requests.Session()

# ایجاد یک درخواست با استفاده از session
response = session.get('https://www.example.com')

# پردازش پاسخ
print(response.status_code)
print(response.content)

# ایجاد یک درخواست دیگر به همان میزبان
response = session.get('https://www.example.com/another_page')

# پردازش پاسخ
print(response.status_code)
print(response.content)

# بستن session (اختیاری، اما توصیه می شود)
session.close()

در این مثال، شی Session از همان اتصال برای هر دو درخواست به https://www.example.com استفاده می کند. متد session.close() به طور صریح session را می بندد و منابع را آزاد می کند. در حالی که session به طور کلی هنگام جمع آوری زباله خودش را تمیز می کند، بستن صریح session یک روش خوب برای مدیریت منابع است، به خصوص در برنامه های طولانی مدت یا محیط هایی با منابع محدود.

مزایای استفاده از Sessions

• بهبود عملکرد: استفاده مجدد از اتصال، تأخیر را کاهش می دهد و زمان پاسخگویی را بهبود می بخشد، به خصوص برای برنامه هایی که چندین درخواست به یک میزبان می دهند.
• کد ساده شده: شی Session مدیریت اتصال را ساده می کند و نیاز به مدیریت دستی جزئیات اتصال را از بین می برد.
• ماندگاری کوکی: Sessions به طور خودکار کوکی ها را مدیریت می کنند و آنها را در چندین درخواست حفظ می کنند. این برای حفظ وضعیت در برنامه های وب بسیار مهم است.
• هدرهای پیش فرض: می توانید هدرهای پیش فرض را برای همه درخواست های ایجاد شده در یک session تنظیم کنید، و از سازگاری اطمینان حاصل کنید و تکثیر کد را کاهش دهید.
• تجمیع اتصال: Requests از تجمیع اتصال در زیرساخت خود استفاده می کند که استفاده مجدد از اتصال را بیشتر بهینه می کند.

پیکربندی Sessions برای عملکرد بهینه

در حالی که شی Session استفاده مجدد از اتصال خودکار را فراهم می کند، می توانید پیکربندی آن را برای عملکرد بهینه در سناریوهای خاص تنظیم کنید. در اینجا برخی از گزینه های پیکربندی کلیدی آورده شده است:

1. آداپتورها

آداپتورها به شما امکان می دهند نحوه رسیدگی requests به پروتکل های مختلف را سفارشی کنید. کتابخانه requests شامل آداپتورهای داخلی برای HTTP و HTTPS است، اما می توانید آداپتورهای سفارشی برای سناریوهای تخصصی تر ایجاد کنید. به عنوان مثال، ممکن است بخواهید از یک گواهی SSL خاص استفاده کنید یا تنظیمات پروکسی را برای درخواست های خاص پیکربندی کنید. آداپتورها به شما کنترل سطح پایین تری بر نحوه ایجاد و مدیریت اتصالات می دهند.

در اینجا یک مثال از استفاده از یک آداپتور برای پیکربندی یک گواهی SSL خاص آورده شده است:

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

# ایجاد یک شی session
session = requests.Session()

# پیکربندی استراتژی تلاش مجدد
retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[500, 502, 503, 504])

# ایجاد یک آداپتور با پیکربندی تلاش مجدد
adapter = HTTPAdapter(max_retries=retries)

# نصب آداپتور به session برای هر دو HTTP و HTTPS
session.mount('http://', adapter)
session.mount('https://', adapter)

# ایجاد یک درخواست با استفاده از session
try:
    response = session.get('https://www.example.com')
    response.raise_for_status() # Raise HTTPError for bad responses (4xx or 5xx)
    # پردازش پاسخ
    print(response.status_code)
    print(response.content)
except requests.exceptions.RequestException as e:
    print(f"An error occurred: {e}")

# بستن session
session.close()

این مثال از HTTPAdapter برای پیکربندی یک استراتژی تلاش مجدد استفاده می کند که به طور خودکار درخواست های ناموفق را دوباره امتحان می کند. این به ویژه هنگام برخورد با اتصالات شبکه غیرقابل اعتماد یا سرویس هایی که ممکن است قطعی های موقت را تجربه کنند، مفید است. شی Retry پارامترهای تلاش مجدد را تعریف می کند، مانند حداکثر تعداد تلاش های مجدد و ضریب backoff.

2. تنظیمات تجمیع اتصال (pool_connections، pool_maxsize، max_retries)

کتابخانه requests از urllib3 برای تجمیع اتصال استفاده می کند. می توانید اندازه استخر و سایر پارامترها را از طریق HTTPAdapter کنترل کنید. پارامتر pool_connections تعداد اتصالات برای ذخیره در حافظه پنهان را مشخص می کند، در حالی که پارامتر pool_maxsize حداکثر تعداد اتصالات برای نگهداری در استخر را مشخص می کند. تنظیم مناسب این پارامترها می تواند با کاهش سربار ایجاد اتصالات جدید، عملکرد را بهبود بخشد.

پارامتر max_retries، همانطور که در مثال قبلی نشان داده شد، پیکربندی می کند که یک درخواست ناموفق چند بار باید دوباره امتحان شود. این به ویژه برای رسیدگی به خطاهای شبکه گذرا یا مشکلات سمت سرور مهم است.

در اینجا یک مثال از پیکربندی تنظیمات تجمیع اتصال آورده شده است:

import requests
from requests.adapters import HTTPAdapter
from urllib3 import PoolManager

class SourceAddressAdapter(HTTPAdapter):
    def __init__(self, source_address, **kwargs):
        self.source_address = source_address
        super(SourceAddressAdapter, self).__init__(**kwargs)

    def init_poolmanager(self, connections, maxsize, block=False):
        self.poolmanager = PoolManager(num_pools=connections,maxsize=maxsize,block=block, source_address=self.source_address)


# ایجاد یک شی session
session = requests.Session()

# پیکربندی تنظیمات تجمیع اتصال
adapter = SourceAddressAdapter(('192.168.1.100', 0), pool_connections=20, pool_maxsize=20)

session.mount('http://', adapter)
session.mount('https://', adapter)

# ایجاد یک درخواست با استفاده از session
response = session.get('https://www.example.com')

# پردازش پاسخ
print(response.status_code)
print(response.content)

# بستن session
session.close()

این مثال استخر اتصال را برای استفاده از 20 اتصال و حداکثر اندازه استخر 20 پیکربندی می کند. تنظیم این مقادیر به تعداد درخواست های همزمان برنامه شما و منابع موجود در سیستم شما بستگی دارد.

3. پیکربندی Timeout

تنظیم timeout مناسب برای جلوگیری از مسدود شدن نامحدود برنامه شما هنگامی که یک سرور به کندی پاسخ می دهد یا در دسترس نیست، بسیار مهم است. پارامتر timeout در متدهای requests (get، post و غیره) حداکثر زمان انتظار برای پاسخ از سرور را مشخص می کند.

در اینجا یک مثال از تنظیم timeout آورده شده است:

import requests

# ایجاد یک شی session
session = requests.Session()

# ایجاد یک درخواست با timeout
try:
    response = session.get('https://www.example.com', timeout=5)

    # پردازش پاسخ
    print(response.status_code)
    print(response.content)
except requests.exceptions.Timeout as e:
    print(f"Request timed out: {e}")

# بستن session
session.close()

در این مثال، اگر سرور پاسخ ندهد، درخواست پس از 5 ثانیه timeout می شود. رسیدگی به استثنا requests.exceptions.Timeout به شما امکان می دهد تا به طور موثر با موقعیت های timeout برخورد کنید و از انجماد برنامه خود جلوگیری کنید.

4. تنظیم هدرهای پیش فرض

Sessions به شما امکان می دهند هدرهای پیش فرض را تنظیم کنید که در هر درخواست ایجاد شده از طریق آن session گنجانده می شود. این برای تنظیم توکن های احراز هویت، کلیدهای API یا user agent های سفارشی مفید است. تنظیم هدرهای پیش فرض از سازگاری اطمینان می دهد و تکثیر کد را کاهش می دهد.

در اینجا یک مثال از تنظیم هدرهای پیش فرض آورده شده است:

import requests

# ایجاد یک شی session
session = requests.Session()

# تنظیم هدرهای پیش فرض
session.headers.update({
    'Authorization': 'Bearer YOUR_API_KEY',
    'User-Agent': 'MyCustomApp/1.0'
})

# ایجاد یک درخواست با استفاده از session
response = session.get('https://www.example.com')

# پردازش پاسخ
print(response.status_code)
print(response.content)

# بستن session
session.close()

در این مثال، هدرهای Authorization و User-Agent در هر درخواست ایجاد شده از طریق session گنجانده می شوند. YOUR_API_KEY را با کلید API واقعی خود جایگزین کنید.

رسیدگی به کوکی ها با Sessions

Sessions به طور خودکار کوکی ها را مدیریت می کنند و آنها را در چندین درخواست حفظ می کنند. این برای حفظ وضعیت در برنامه های وب که برای احراز هویت یا ردیابی sessions کاربر به کوکی ها متکی هستند، ضروری است. هنگامی که یک سرور یک هدر Set-Cookie را در یک پاسخ ارسال می کند، session کوکی را ذخیره می کند و آن را در درخواست های بعدی به همان دامنه قرار می دهد.

در اینجا یک مثال از نحوه رسیدگی sessions به کوکی ها آورده شده است:

import requests

# ایجاد یک شی session
session = requests.Session()

# ایجاد یک درخواست به سایتی که کوکی ها را تنظیم می کند
response = session.get('https://www.example.com/login')

# چاپ کوکی های تنظیم شده توسط سرور
print(session.cookies.get_dict())

# ایجاد یک درخواست دیگر به همان سایت
response = session.get('https://www.example.com/profile')

# کوکی ها به طور خودکار در این درخواست گنجانده می شوند
print(response.status_code)

# بستن session
session.close()

در این مثال، session به طور خودکار کوکی های تنظیم شده توسط https://www.example.com/login را در درخواست بعدی به https://www.example.com/profile ذخیره و شامل می شود.

بهترین روش ها برای مدیریت Session

• از Sessions برای درخواست های متعدد استفاده کنید: همیشه هنگام ایجاد درخواست های متعدد به همان میزبان، از یک شی Session استفاده کنید. این از استفاده مجدد از اتصال اطمینان می دهد و عملکرد را بهبود می بخشد.
• Sessions را به طور صریح ببندید: Sessions را به طور صریح با استفاده از session.close() پس از اتمام کار با آنها ببندید. این منابع را آزاد می کند و از مشکلات احتمالی ناشی از نشت اتصال جلوگیری می کند.
• آداپتورها را برای نیازهای خاص پیکربندی کنید: از آداپتورها برای سفارشی کردن نحوه رسیدگی requests به پروتکل های مختلف استفاده کنید و تنظیمات تجمیع اتصال را برای عملکرد بهینه پیکربندی کنید.
• Timeout ها را تنظیم کنید: همیشه timeout ها را تنظیم کنید تا از مسدود شدن نامحدود برنامه شما هنگامی که یک سرور به کندی پاسخ می دهد یا در دسترس نیست، جلوگیری کنید.
• به استثناها رسیدگی کنید: به درستی به استثناها، مانند requests.exceptions.RequestException و requests.exceptions.Timeout رسیدگی کنید تا به طور موثر با خطاها برخورد کنید و از خراب شدن برنامه خود جلوگیری کنید.
• ایمنی Thread را در نظر بگیرید: شی Session به طور کلی ایمن thread است، اما از اشتراک گذاری همان session در چندین thread بدون هماهنگ سازی مناسب خودداری کنید. ایجاد sessions جداگانه برای هر thread یا استفاده از یک استخر اتصال ایمن thread را در نظر بگیرید.
• استفاده از استخر اتصال را نظارت کنید: استفاده از استخر اتصال را برای شناسایی گلوگاه های احتمالی نظارت کنید و اندازه استخر را بر اساس آن تنظیم کنید.
• از Sessions ماندگار استفاده کنید: برای برنامه های طولانی مدت، استفاده از sessions ماندگار را در نظر بگیرید که اطلاعات اتصال را روی دیسک ذخیره می کنند. این به برنامه اجازه می دهد تا پس از راه اندازی مجدد، اتصالات را از سر بگیرد. با این حال، مراقب پیامدهای امنیتی باشید و از داده های حساس ذخیره شده در sessions ماندگار محافظت کنید.

تکنیک های پیشرفته مدیریت Session

1. استفاده از یک مدیر Context

شی Session می تواند به عنوان یک مدیر context استفاده شود و اطمینان حاصل شود که session به طور خودکار پس از خروج از بلوک with بسته می شود. این مدیریت منابع را ساده می کند و خطر فراموشی بستن session را کاهش می دهد.

import requests

# استفاده از session به عنوان یک مدیر context
with requests.Session() as session:
    # ایجاد یک درخواست با استفاده از session
    response = session.get('https://www.example.com')

    # پردازش پاسخ
    print(response.status_code)
    print(response.content)

# Session به طور خودکار پس از خروج از بلوک 'with' بسته می شود

2. تلاش مجدد Session با Backoff

می توانید تلاش های مجدد را با backoff نمایی برای رسیدگی بهتر به خطاهای شبکه گذرا پیاده سازی کنید. این شامل تلاش مجدد برای درخواست های ناموفق با تأخیرهای افزایشی بین تلاش های مجدد است که بار روی سرور را کاهش می دهد و شانس موفقیت را افزایش می دهد.

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

# ایجاد یک شی session
session = requests.Session()

# پیکربندی استراتژی تلاش مجدد
retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[500, 502, 503, 504])

# ایجاد یک آداپتور با پیکربندی تلاش مجدد
adapter = HTTPAdapter(max_retries=retries)

# نصب آداپتور به session برای هر دو HTTP و HTTPS
session.mount('http://', adapter)
session.mount('https://', adapter)

# ایجاد یک درخواست با استفاده از session
try:
    response = session.get('https://www.example.com')
    response.raise_for_status() # Raise HTTPError for bad responses (4xx or 5xx)
    # پردازش پاسخ
    print(response.status_code)
    print(response.content)
except requests.exceptions.RequestException as e:
    print(f"An error occurred: {e}")

# Session به طور خودکار پس از خروج از بلوک 'with' بسته می شود (اگر از مدیر context استفاده نمی کنید)
session.close()

3. درخواست های ناهمزمان با Sessions

برای برنامه های کاربردی با کارایی بالا، می توانید از درخواست های ناهمزمان برای ایجاد چندین درخواست به طور همزمان استفاده کنید. این می تواند به طور قابل توجهی عملکرد را هنگام کار با وظایف محدود به I/O، مانند واکشی داده ها از چندین API به طور همزمان بهبود بخشد. در حالی که کتابخانه requests خود همزمان است، می توانید آن را با کتابخانه های ناهمزمان مانند asyncio و aiohttp ترکیب کنید تا به رفتار ناهمزمان دست یابید.

در اینجا یک مثال از استفاده از aiohttp با sessions برای ایجاد درخواست های ناهمزمان آورده شده است:

import asyncio
import aiohttp

async def fetch_url(session, url):
    try:
        async with session.get(url) as response:
            return await response.text()
    except Exception as e:
        print(f"Error fetching {url}: {e}")
        return None

async def main():
    async with aiohttp.ClientSession() as session:
        urls = [
            'https://www.example.com',
            'https://www.google.com',
            'https://www.python.org'
        ]
        tasks = [fetch_url(session, url) for url in urls]
        results = await asyncio.gather(*tasks)

        for i, result in enumerate(results):
            if result:
                print(f"Content from {urls[i]}: {result[:100]}...")
            else:
                print(f"Failed to fetch {urls[i]}")

if __name__ == "__main__":
    asyncio.run(main())

عیب یابی مشکلات مدیریت Session

در حالی که مدیریت session استفاده مجدد از اتصال HTTP را ساده می کند، ممکن است در سناریوهای خاص با مشکلاتی مواجه شوید. در اینجا برخی از مشکلات رایج و راه حل های آنها آورده شده است:

• خطاهای اتصال: اگر با خطاهای اتصال، مانند ConnectionError یا Max retries exceeded مواجه شدید، اتصال شبکه، تنظیمات فایروال و در دسترس بودن سرور خود را بررسی کنید. اطمینان حاصل کنید که برنامه شما می تواند به میزبان هدف دسترسی پیدا کند.
• خطاهای Timeout: اگر با خطاهای timeout مواجه شدید، مقدار timeout را افزایش دهید یا کد خود را برای کاهش زمان پردازش پاسخ ها بهینه کنید. استفاده از درخواست های ناهمزمان را برای جلوگیری از مسدود کردن thread اصلی در نظر بگیرید.
• مشکلات کوکی: اگر با مشکلاتی در مورد عدم ماندگاری یا ارسال صحیح کوکی ها مواجه شدید، تنظیمات کوکی، دامنه و مسیر را بررسی کنید. اطمینان حاصل کنید که سرور به درستی کوکی ها را تنظیم می کند و برنامه شما به درستی با آنها برخورد می کند.
• نشت حافظه: اگر با نشت حافظه مواجه شدید، اطمینان حاصل کنید که sessions را به طور صریح می بندید و منابع را به درستی آزاد می کنید. استفاده از حافظه برنامه خود را برای شناسایی مشکلات احتمالی نظارت کنید.
• خطاهای گواهی SSL: اگر با خطاهای گواهی SSL مواجه شدید، اطمینان حاصل کنید که گواهی های SSL صحیح را نصب و پیکربندی کرده اید. همچنین می توانید تأیید گواهی SSL را برای اهداف آزمایشی غیرفعال کنید، اما این برای محیط های تولیدی توصیه نمی شود.

ملاحظات جهانی برای مدیریت Session

هنگام توسعه برنامه های کاربردی برای یک مخاطب جهانی، عوامل زیر را در رابطه با مدیریت session در نظر بگیرید:

• موقعیت جغرافیایی: فاصله فیزیکی بین برنامه شما و سرور می تواند به طور قابل توجهی بر تأخیر تأثیر بگذارد. استفاده از یک شبکه تحویل محتوا (CDN) را برای ذخیره محتوا در نزدیکی کاربران در مناطق جغرافیایی مختلف در نظر بگیرید.
• شرایط شبکه: شرایط شبکه، مانند پهنای باند و از دست دادن بسته، می تواند به طور قابل توجهی در مناطق مختلف متفاوت باشد. برنامه خود را برای رسیدگی بهتر به شرایط نامناسب شبکه بهینه کنید.
• مناطق زمانی: هنگام برخورد با کوکی ها و انقضای session، مراقب مناطق زمانی باشید. از timestamps UTC برای جلوگیری از مشکلات مربوط به تبدیل مناطق زمانی استفاده کنید.
• مقررات حفظ حریم خصوصی داده ها: از مقررات حفظ حریم خصوصی داده ها، مانند GDPR و CCPA، آگاه باشید و اطمینان حاصل کنید که برنامه شما با این مقررات مطابقت دارد. از داده های حساس ذخیره شده در کوکی ها و sessions محافظت کنید.
• بومی سازی: بومی سازی برنامه خود را برای پشتیبانی از زبان ها و فرهنگ های مختلف در نظر بگیرید. این شامل ترجمه پیام های خطا و ارائه اطلاعیه های رضایت کوکی بومی شده است.

نتیجه گیری

مدیریت session در Requests یک تکنیک قدرتمند برای بهینه سازی استفاده مجدد از اتصال HTTP و بهبود عملکرد برنامه های شما است. با درک پیچیدگی های اشیاء session، آداپتورها، تجمیع اتصال و سایر گزینه های پیکربندی، می توانید برنامه خود را برای عملکرد بهینه در سناریوهای مختلف تنظیم کنید. به یاد داشته باشید که از بهترین روش ها برای مدیریت session پیروی کنید و هنگام توسعه برنامه های کاربردی برای یک مخاطب جهانی، عوامل جهانی را در نظر بگیرید. با تسلط بر مدیریت session، می توانید برنامه های سریع تر، کارآمدتر و مقیاس پذیرتر بسازید که تجربه کاربری بهتری را ارائه می دهند.

با استفاده از قابلیت های مدیریت session کتابخانه requests، توسعه دهندگان می توانند به طور قابل توجهی تأخیر را کاهش دهند، بار سرور را به حداقل برسانند و برنامه های قوی و با عملکرد بالا ایجاد کنند که برای استقرار جهانی و پایگاه های کاربری متنوع مناسب هستند.